Video representation learning has been successful in video-text pre-training for zero-shot transfer, where each sentence is trained to be close to the paired video clips in a common feature space. For long videos, given a paragraph of description where the sentences describe different segments of the video, by matching all sentence-clip pairs, the paragraph and the full video are aligned implicitly. However, such unit-level similarity measure may ignore the global temporal context over a long time span, which inevitably limits the generalization ability. In this paper, we propose a contrastive learning framework TempCLR to compare the full video and the paragraph explicitly. As the video/paragraph is formulated as a sequence of clips/sentences, under the constraint of their temporal order, we use dynamic time warping to compute the minimum cumulative cost over sentence-clip pairs as the sequence-level distance. To explore the temporal dynamics, we break the consistency of temporal order by shuffling the video clips or sentences according to the temporal granularity. In this way, we obtain the representations for clips/sentences, which perceive the temporal information and thus facilitate the sequence alignment. In addition to pre-training on the video and paragraph, our approach can also generalize on the matching between different video instances. We evaluate our approach on video retrieval, action step localization, and few-shot action recognition, and achieve consistent performance gain over all three tasks. Detailed ablation studies are provided to justify the approach design.

Video event extraction aims to detect salient events from a video and identify the arguments for each event as well as their semantic roles. Existing methods focus on capturing the overall visual scene of each frame, ignoring fine-grained argument-level information. Inspired by the definition of events as changes of states, we propose a novel framework to detect video events by tracking the changes in the visual states of all involved arguments, which are expected to provide the most informative evidence for the extraction of video events. In order to capture the visual state changes of arguments, we decompose them into changes in pixels within objects, displacements of objects, and interactions among multiple arguments. We further propose Object State Embedding, Object Motion-aware Embedding and Argument Interaction Embedding to encode and track these changes respectively. Experiments on various video event extraction tasks demonstrate significant improvements compared to state-of-the-art models. In particular, on verb classification, we achieve 3.49% absolute gains (19.53% relative gains) in F1@5 on Video Situation Recognition.

神经表面重建旨在基于多视图图像重建准确的3D表面。基于神经量的先前方法主要训练完全隐式的模型，它们需要单个场景的数小时培训。最近的努力探讨了明确的体积表示，该表示通过记住可学习的素网格中的重要信息，从而大大加快了优化过程。但是，这些基于体素的方法通常在重建细粒几何形状方面遇到困难。通过实证研究，我们发现高质量的表面重建取决于两个关键因素：构建相干形状的能力和颜色几何依赖性的精确建模。特别是，后者是准确重建细节的关键。受这些发现的启发，我们开发了Voxurf，这是一种基于体素的方法，用于有效，准确的神经表面重建，该方法由两个阶段组成：1）利用可学习的特征网格来构建颜色场并获得连贯的粗糙形状，并且2）使用双色网络来完善详细的几何形状，可捕获精确的颜色几何依赖性。我们进一步引入了层次几何特征，以启用跨体素的信息共享。我们的实验表明，Voxurf同时达到了高效率和高质量。在DTU基准测试中，与最先进的方法相比，Voxurf获得了更高的重建质量，训练的加速度为20倍。

本地化和导航是基本的机器人任务，需要准确，最新的地图才能完成这些任务，众包数据可检测地图更改，提出了吸引人的解决方案。收集和处理众包数据需要低成本的传感器和算法，但是现有的方法依赖于昂贵的传感器或计算昂贵的算法。此外，没有现有数据集来评估点云更改检测。因此，本文提出了一个使用低成本传感器（如立体声摄像机和IMU）来检测点云图中的变化的新型框架。此外，我们创建了一个数据集和相应的指标，借助高保真模拟器虚幻引擎4.实验表明，我们的视觉框架可以有效地检测数据集中的变化。

了解多媒体内容中描述或显示的事件彼此相关是开发可用于真实世界媒体的强大人工智能系统的关键组成部分。尽管许多研究专门用于文本，图像和视频域中的事件理解，但没有一个研究探索事件跨域中经历的复杂关系。例如，新闻文章可能会描述“抗议”事件，而视频显示“逮捕”事件。认识到视觉“逮捕”事件是更广泛的“抗议”事件的一个子事件，这是一个具有挑战性但重要的问题，但前面的工作尚未探讨。在本文中，我们提出了多模式事件关系关系的新任务，以识别这种跨模式事件关系。我们贡献了一个大规模数据集，该数据集由100K视频新文章对组成，以及密集注释的数据的基准。我们还提出了一种弱监督的多模式方法，该方法将来自外部知识库（KB）的常识性知识整合在一起，以预测丰富的多模式事件层次结构。实验表明，我们的模型在我们提出的基准上优于许多竞争基线。我们还对模型的性能进行了详细的分析，并建议未来研究的方向。

语言模型既展示了定量的改进，又展示了新的定性功能，随着规模的增加。尽管它们具有潜在的变革性影响，但这些新能力的特征却很差。为了为未来的研究提供信息，为破坏性的新模型能力做准备，并改善社会有害的效果，至关重要的是，我们必须了解目前和近乎未来的能力和语言模型的局限性。为了应对这一挑战，我们介绍了超越模仿游戏基准（Big Bench）。 Big Bench目前由204个任务组成，由132家机构的442位作者贡献。任务主题是多样的，从语言学，儿童发展，数学，常识性推理，生物学，物理学，社会偏见，软件开发等等。 Big-Bench专注于被认为超出当前语言模型的功能的任务。我们评估了OpenAI的GPT型号，Google内部密集变压器体系结构和大型基础上的开关稀疏变压器的行为，跨越了数百万到数十亿个参数。此外，一个人类专家评估者团队执行了所有任务，以提供强大的基准。研究结果包括：模型性能和校准都随规模改善，但绝对的术语（以及与评估者的性能相比）；在模型类中的性能非常相似，尽管带有稀疏性。逐渐和预测的任务通常涉及大量知识或记忆成分，而在临界规模上表现出“突破性”行为的任务通常涉及多个步骤或组成部分或脆性指标；社交偏见通常会随着含糊不清的环境而随着规模而增加，但这可以通过提示来改善。

在本文中，我们考虑了从长时间的视频到几分钟的长视频进行分类的问题（例如，烹饪不同的食谱，烹饪不同的食谱，进行不同的家庭装修，创建各种形式的艺术和手工艺品）。准确地对这些活动进行分类，不仅需要识别构成任务的单个步骤，还需要捕获其时间依赖性。这个问题与传统的动作分类大不相同，在传统的动作分类中，模型通常在跨越几秒钟的视频上进行了优化，并且手动修剪以包含简单的原子动作。虽然步骤注释可以使模型的培训能够识别程序活动的各个步骤，但由于长时间视频中手动注释时间界的超级注释，因此该领域的现有大规模数据集不包括此类段标签。为了解决这个问题，我们建议通过利用文本知识库（Wikihow）的遥远监督来自动确定教学视频中的步骤，其中包括对执行各种复杂活动所需的步骤的详细描述。我们的方法使用语言模型来匹配视频中自动转录的语音，以在知识库中逐步描述。我们证明，经过训练的视频模型可以识别这些自动标记的步骤（无手动监督）产生了在四个下游任务上实现卓越的概括性能的表示：识别程序活动，步骤分类，步骤预测和以自我为中心的视频分类。

Vision-Language（V + L）预先润廓模型通过了解图像和文本之间的对齐来支持多媒体应用程序取得了巨大成功。虽然现有的视觉预押模型主要专注于了解文本中的图像或实体中的对象，但它们通常会忽略事件级别的对齐及其参数结构。 ％在这项工作中，我们提出了一种对比的学习框架来强制执行愿景 - 语言预押模型来理解事件和相关参数（参与者）角色。为此，我们利用文本信息提取技术来获得事件结构知识，并利用多个提示函数来通过操纵事件结构来对比难度的负面描述。我们还基于最佳传输来设计事件图对齐损耗以捕获事件参数结构。此外，我们收集了一个大型活动的数据集（106,875张图片），用于预磨平，这提供了更具挑战性的图像检索基准，以评估对复杂冗长的句子的理解。实验表明，我们的零射剪辑事件优于在多媒体事件提取中的参数提取中的最先进的监督模型，从而实现了事件提取中的5±绝对f得分增益，以及显着改进零拍摄设置下的各种下游任务。

最近，对建立问题的兴趣越来越兴趣，其中跨多种模式（如文本和图像）的原因。但是，使用图像的QA通常仅限于从预定义的选项集中挑选答案。此外，在现实世界中的图像，特别是在新闻中，具有与文本共同参考的对象，其中来自两个模态的互补信息。在本文中，我们提出了一种新的QA评估基准，并在新闻文章中提出了1,384个问题，这些文章需要跨媒体接地图像中的物体接地到文本上。具体地，该任务涉及需要推理图像标题对的多跳问题，以识别接地的视觉对象，然后从新闻正文文本中预测跨度以回答问题。此外，我们介绍了一种新颖的多媒体数据增强框架，基于跨媒体知识提取和合成问题答案生成，自动增强可以为此任务提供弱监管的数据。我们在我们的基准测试中评估了基于管道和基于端到端的预先预测的多媒体QA模型，并表明他们实现了有希望的性能，而在人类性能之后大幅滞后，因此留下了未来工作的大型空间，以便在这一具有挑战性的新任务上的工作。

由于可靠的3D空间信息，LIDAR传感器广泛用于自动驾驶。然而，LIDAR的数据稀疏，LIDAR的频率低于相机的频率。为了在空间和时间上生成密集点云，我们提出了第一个将来的伪激光框架预测网络。鉴于连续稀疏深度图和RGB图像，我们首先根据动态运动信息粗略地预测未来的密集深度图。为了消除光流量估计的误差，提出了帧间聚合模块，以使具有自适应权重的翘曲深度图熔断。然后，我们使用静态上下文信息优化预测的密集深度图。通过将预测的密集深度图转换为相应的3D点云，可以获得未来的伪激光镜帧。实验结果表明，我们的方法优于流行基准基准的现有解决方案。